我们研究稀疏的线性回归在一个代理网络上,建模为无向图(没有集中式节点)。估计问题被制定为当地套索损失函数的最小化,加上共识约束的二次惩罚 - 后者是获取分布式解决方案方法的工具。虽然在优化文献中广泛研究了基于惩罚的共识方法,但其高维设置中的统计和计算保证仍不清楚。这项工作提供了对此公开问题的答案。我们的贡献是两倍。 First, we establish statistical consistency of the estimator: under a suitable choice of the penalty parameter, the optimal solution of the penalized problem achieves near optimal minimax rate $\mathcal{O}(s \log d/N)$ in $\ell_2 $ -loss,$ s $是稀疏性值,$ d $是环境维度,$ n $是网络中的总示例大小 - 这与集中式采样率相匹配。其次,我们表明,应用于惩罚问题的近端梯度算法,它自然导致分布式实现,线性地收敛到集中统计误差的顺序的公差 - 速率比例为$ \ mathcal {o}( d)$,揭示不可避免的速度准确性困境。数值结果证明了衍生的采样率和收敛速率缩放的紧张性。
translated by 谷歌翻译
我们通过两种类型 - 主/工人(因此集中)架构(因此集中)架构和网格化(因此分散)网络,研究(强)凸起(强)凸起(强)凸起的鞍点问题(SPPS)的解决方案方法。由于统计数据相似度或其他,假设每个节点处的本地功能是相似的。我们为求解SPP的相当一般算法奠定了较低的复杂性界限。我们表明,在$ \ omega \ big(\ delta \ cdot \ delta / \ mu \ cdot \ log(1 / varepsilon)\ big)$ rounds over over over exoptimally $ \ epsilon> 0 $ over over master / workers网络通信,其中$ \ delta> 0 $测量本地功能的相似性,$ \ mu $是它们的强凸起常数,$ \ delta $是网络的直径。较低的通信复杂性绑定在网状网络上读取$ \ omega \ big(1 / {\ sqrt {\ rho}} \ cdot {\ delta} / {\ mu} \ cdot \ log(1 / varepsilon)\ big)$ ,$ \ rho $是用于邻近节点之间通信的八卦矩阵的(归一化)EIGENGAP。然后,我们提出算法与较低限制的网络(最多为日志因子)匹配。我们评估所提出的算法对强大的逻辑回归问题的有效性。
translated by 谷歌翻译
我们通常认为,在学习贝叶斯网络的结构时,数据是一组均匀的观察值。但是,它们通常包含相关但不相关的不同数据集,因为它们是以不同的方式收集的或从不同的人群中收集的。在我们以前的工作(Azzimonti,Corani和Scutari,2021年)中,我们为离散数据提出了一个封闭形式的贝叶斯层次DIRICHLET分数,该分散数据将相关数据集的信息汇总为学习单个包含的网络结构,同时考虑到他们的差异。概率结构。在本文中,我们提供了一种类似的解决方案,用于使用混合效应模型从连续数据中学习贝叶斯网络,以在相关数据集中汇总信息。我们研究了其结构,参数,预测和分类的精度,我们表明它的表现优于有条件的高斯贝叶斯网络(不执行任何合并)和经典的高斯贝叶斯网络(无视数据的异质性质)。对于低样本量和不平衡的数据集标记了改进。
translated by 谷歌翻译
在本文中,我们提出了一个通用框架,用于估计以用户定义的公平程度来估算回归模型。我们将公平性作为模型选择步骤,在该步骤中,我们选择山脊惩罚的价值来控制敏感属性的效果。然后,我们估计模型的参数,条件是所选的惩罚值。我们的建议在数学上很简单,其解决方案部分为封闭形式,并产生回归系数的估计值,这些系数直观地解释为公平水平的函数。此外,它很容易扩展到广义线性模型,内核回归模型和其他惩罚。它可以适应公平的多种定义。我们将我们的方法与Komiyama等人的回归模型进行了比较。 (2018年),它实现了一个理想的线性回归模型;以及Zafar等人的公平模型。 (2019)。我们在六个不同的数据集上对这些方法进行了经验评估,我们发现我们的建议提供了更好的合适性和更好的预测准确性,以达到相同的公平水平。此外,我们强调了Komiyama等人的原始实验评估中的偏见来源。 (2018)。
translated by 谷歌翻译